01
项目背景与目标
为什么需要ConfigMap管理vLLM参数?项目整体架构概览。
架构动机
02
环境准备
K8s集群搭建(Minikube/Kind)、kubectl配置、Helm安装。
MinikubeKindHelm
03
vLLM基础
vLLM是什么?核心概念(模型加载、推理引擎、参数调优)。
推理模型加载
04
ConfigMap基础
ConfigMap是什么?创建方式(命令行、YAML、文件)。
YAMLkubectl
05
ConfigMap设计
vLLM参数分类(模型参数、推理参数、环境参数)。
分类设计
06
ConfigMap YAML编写
模型路径、GPU配置、批处理大小等参数映射。
YAMLGPU
07
ConfigMap挂载 · 环境变量
将ConfigMap挂载为vLLM Pod的环境变量。
环境变量挂载
08
ConfigMap挂载 · 配置文件
将ConfigMap挂载为vLLM Pod的配置文件。
配置文件Volume
09
ConfigMap热更新原理
修改ConfigMap后,vLLM Pod如何自动感知?
热更新自动感知
10
热更新实战
使用Reloader或手动滚动更新策略。
Reloader滚动更新
11
vLLM Deployment编写
定义Deployment YAML,引用ConfigMap。
DeploymentYAML
12
vLLM Service编写
创建Service暴露vLLM推理服务。
Service网络
13
vLLM Ingress编写
配置Ingress实现外部域名访问。
Ingress域名
14
多环境参数管理
使用ConfigMap管理不同环境(dev/staging/prod)的参数。
devstagingprod
15
多模型参数管理
使用ConfigMap管理不同模型(LLaMA、ChatGLM、Qwen)的参数。
LLaMAChatGLMQwen
16
GitOps 版本控制
使用GitOps(ArgoCD)管理ConfigMap变更。
ArgoCDGitOps
17
命名规范与回滚
ConfigMap命名规范与回滚策略。
规范回滚
18
ConfigMap安全 · Secret
敏感参数(API Key、模型权重路径)使用Secret而非ConfigMap。
Secret安全
19
RBAC 权限控制
限制ConfigMap的访问权限(RBAC)。
RBAC权限
20
监控与告警 · Prometheus
Prometheus监控vLLM推理指标,ConfigMap变更触发告警。
Prometheus告警
21
Grafana 仪表盘
Grafana仪表盘展示ConfigMap参数与vLLM性能关联。
Grafana可视化
22
故障排查 · 挂载与变量
ConfigMap未生效?排查挂载路径、环境变量名称。
排查挂载
23
故障排查 · 参数格式
vLLM启动失败?检查ConfigMap中参数格式(YAML/JSON)。
YAMLJSON
24
故障排查 · 热更新
热更新不生效?检查Reloader配置或Pod重启策略。
Reloader重启
25
自动化脚本 · Python
Python脚本批量生成不同模型的ConfigMap。
Python批量
26
CI/CD 流水线
GitLab CI自动部署ConfigMap。
GitLab CI自动化
27
性能调优 · max_num_batched_tokens
通过ConfigMap调整vLLM的max_num_batched_tokens参数。
批处理调优
28
性能调优 · gpu_memory_utilization
通过ConfigMap调整vLLM的gpu_memory_utilization参数。
GPU内存
29
项目总结
ConfigMap管理vLLM参数的优缺点与适用场景。
总结评估
30
扩展思考 · Operator
未来方向——使用Operator管理vLLM参数,实现更细粒度的控制。
Operator展望